在机器学习中的解释性的重要性继续增长,因为神经网络架构和它们模型的数据变得越来越复杂。当模型的输入功能变为高维时,出现独特的挑战:一方面,解释性的原则性模型可靠性方法变得过于计算昂贵;另一方面,更高效的解释性算法缺乏对普通用户的自然解释。在这项工作中,我们在高维数据上介绍了用于人类可解释的解释性的框架,由两个模块组成。首先,我们应用一个语义上有意义的潜在表示,以降低数据的原始维度,并确保其人的解释性。可以学习这些潜在的特征,例如,通过图像到图像转换明确地解散表示或隐含地解散表示,或者它们可以基于用户选择的任何可计算量。其次,我们适应福利范式以进行模型 - 无人释放能力,以在这些潜在特征上运行。这导致理论上控制和计算易解释的可解释模型解释。我们在合成数据上基准测试我们的方法,并展示其对几种图像分类任务的效果。
translated by 谷歌翻译
AI中的解释性对于模型开发,遵守规则并提供对预测的操作细微差异至关重要。 Shapley框架解释性地将模型的预测以数学上的原则和模型无话的方式对其输入特征属性。然而,福利释放性的一般实施使得一个无法维持的假设:模型的功能是不相关的。在这项工作中,我们展示了这种假设的明确缺点,并开发了两个对围绕数据歧管的福利解释性的解决方案。基于生成建模的一种解决方案提供了对数据避难所的灵活访问;另一种直接学习福利价值功能,以灵活成本提供性能和稳定性。虽然“偏流”福谢值(i)产生不正确的解释,但是(ii)隐藏对敏感属性的隐式模型依赖性,并且(iii)导致在高维数据中的解释,歧管解释性克服了这些问题。
translated by 谷歌翻译
这项工作提出了一种新的动力学的新运动学,该动力学与单个执行器有关,可以实现三方握力,也可以实现侧向握力。受三位生假体的启发,比多物质假体更简单,更健壮和便宜,这种新的运动学旨在提出可访问的假体(负担得起的,易于使用,易于使用,健壮,易于修复)。使用电缆代替刚性杆来传递上指和拇指的动作。本文详细介绍了方法和设计选择。总而言之,通过实验用户对原型的评估导致对结果的首次讨论。
translated by 谷歌翻译
语言模型既展示了定量的改进,又展示了新的定性功能,随着规模的增加。尽管它们具有潜在的变革性影响,但这些新能力的特征却很差。为了为未来的研究提供信息,为破坏性的新模型能力做准备,并改善社会有害的效果,至关重要的是,我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战,我们介绍了超越模仿游戏基准(Big Bench)。 Big Bench目前由204个任务组成,由132家机构的442位作者贡献。任务主题是多样的,从语言学,儿童发展,数学,常识性推理,生物学,物理学,社会偏见,软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号,Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为,跨越了数百万到数十亿个参数。此外,一个人类专家评估者团队执行了所有任务,以提供强大的基准。研究结果包括:模型性能和校准都随规模改善,但绝对的术语(以及与评估者的性能相比);在模型类中的性能非常相似,尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分,而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标;社交偏见通常会随着含糊不清的环境而随着规模而增加,但这可以通过提示来改善。
translated by 谷歌翻译
数据增强是自然语言处理(NLP)模型的鲁棒性评估的重要组成部分,以及增强他们培训的数据的多样性。在本文中,我们呈现NL-Cogmenter,这是一种新的参与式Python的自然语言增强框架,它支持创建两个转换(对数据的修改)和过滤器(根据特定功能的数据拆分)。我们描述了框架和初始的117个变换和23个过滤器,用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构,Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用(\ url {https://github.com/gem-benchmark/nl-augmenter})。
translated by 谷歌翻译
培训恢复的神经网络在时间依赖性变长时很难。因此,在需要长期记忆的基准上,训练标准的门控单元,例如门控复发单元(GRU)和长期短期记忆(LSTM)仍然是一项艰巨的任务。在这项工作中,我们表明,尽管大多数经典网络在初始化时只有一个稳定的平衡,但是只有在网络稳定平衡的数量增加后,需要长期内存的任务学习;一种称为多稳定性的属性。通常,最初单一的网络不容易获得多稳定性,从而使长期依赖性的学习变得困难。这种洞察力导致了一种新颖的,一般的方法,可以通过称为“热身”的程序来初始化任何经常性网络连接,以提高其任意长时间依赖性的能力。此初始化过程旨在最大化网络可及的多稳定性,即可以通过相关输入轨迹达到的网络中吸引者的数量。在训练之前,使用随机梯度下降对特定设计的损失进行预热。我们展示了信息恢复原状,序列分类和强化学习基准测试,这些基准会大大改善多种复发细胞类型的复发性神经网络性能,但有时会阻碍精度。因此,我们引入了一个平行的经常性网络结构,具有部分热身,该结构被证明可以极大地改善序列长期依赖性的学习,同时保持高水平的精度。当需要长期记忆时,这种方法为提高任何经常性单元格类型的学习能力提供了一个通用框架。
translated by 谷歌翻译
深度强化学习(RL)导致了许多最近和开创性的进步。但是,这些进步通常以培训的基础体系结构的规模增加以及用于训练它们的RL算法的复杂性提高,而均以增加规模的成本。这些增长反过来又使研究人员更难迅速原型新想法或复制已发表的RL算法。为了解决这些问题,这项工作描述了ACME,这是一个用于构建新型RL算法的框架,这些框架是专门设计的,用于启用使用简单的模块化组件构建的代理,这些组件可以在各种执行范围内使用。尽管ACME的主要目标是为算法开发提供一个框架,但第二个目标是提供重要或最先进算法的简单参考实现。这些实现既是对我们的设计决策的验证,也是对RL研究中可重复性的重要贡献。在这项工作中,我们描述了ACME内部做出的主要设计决策,并提供了有关如何使用其组件来实施各种算法的进一步详细信息。我们的实验为许多常见和最先进的算法提供了基准,并显示了如何为更大且更复杂的环境扩展这些算法。这突出了ACME的主要优点之一,即它可用于实现大型,分布式的RL算法,这些算法可以以较大的尺度运行,同时仍保持该实现的固有可读性。这项工作提出了第二篇文章的版本,恰好与模块化的增加相吻合,对离线,模仿和从演示算法学习以及作为ACME的一部分实现的各种新代理。
translated by 谷歌翻译
Advances in computer vision and machine learning techniques have led to significant development in 2D and 3D human pose estimation from RGB cameras, LiDAR, and radars. However, human pose estimation from images is adversely affected by occlusion and lighting, which are common in many scenarios of interest. Radar and LiDAR technologies, on the other hand, need specialized hardware that is expensive and power-intensive. Furthermore, placing these sensors in non-public areas raises significant privacy concerns. To address these limitations, recent research has explored the use of WiFi antennas (1D sensors) for body segmentation and key-point body detection. This paper further expands on the use of the WiFi signal in combination with deep learning architectures, commonly used in computer vision, to estimate dense human pose correspondence. We developed a deep neural network that maps the phase and amplitude of WiFi signals to UV coordinates within 24 human regions. The results of the study reveal that our model can estimate the dense pose of multiple subjects, with comparable performance to image-based approaches, by utilizing WiFi signals as the only input. This paves the way for low-cost, broadly accessible, and privacy-preserving algorithms for human sensing.
translated by 谷歌翻译
Classical reinforcement learning (RL) techniques are generally concerned with the design of decision-making policies driven by the maximisation of the expected outcome. Nevertheless, this approach does not take into consideration the potential risk associated with the actions taken, which may be critical in certain applications. To address that issue, the present research work introduces a novel methodology based on distributional RL to derive sequential decision-making policies that are sensitive to the risk, the latter being modelled by the tail of the return probability distribution. The core idea is to replace the $Q$ function generally standing at the core of learning schemes in RL by another function taking into account both the expected return and the risk. Named the risk-based utility function $U$, it can be extracted from the random return distribution $Z$ naturally learnt by any distributional RL algorithm. This enables to span the complete potential trade-off between risk minimisation and expected return maximisation, in contrast to fully risk-averse methodologies. Fundamentally, this research yields a truly practical and accessible solution for learning risk-sensitive policies with minimal modification to the distributional RL algorithm, and with an emphasis on the interpretability of the resulting decision-making process.
translated by 谷歌翻译
Due to the environmental impacts caused by the construction industry, repurposing existing buildings and making them more energy-efficient has become a high-priority issue. However, a legitimate concern of land developers is associated with the buildings' state of conservation. For that reason, infrared thermography has been used as a powerful tool to characterize these buildings' state of conservation by detecting pathologies, such as cracks and humidity. Thermal cameras detect the radiation emitted by any material and translate it into temperature-color-coded images. Abnormal temperature changes may indicate the presence of pathologies, however, reading thermal images might not be quite simple. This research project aims to combine infrared thermography and machine learning (ML) to help stakeholders determine the viability of reusing existing buildings by identifying their pathologies and defects more efficiently and accurately. In this particular phase of this research project, we've used an image classification machine learning model of Convolutional Neural Networks (DCNN) to differentiate three levels of cracks in one particular building. The model's accuracy was compared between the MSX and thermal images acquired from two distinct thermal cameras and fused images (formed through multisource information) to test the influence of the input data and network on the detection results.
translated by 谷歌翻译